Ông là vị Tổng thống nổi tiếng bởi biệt tài ghi nhớ rất tốt, ông đã đọc thuộc lòng thành thạo bài diễn văn nhậm chức dài 3.000 từ của mình một cách rành rọt. Trong cuộc sống, ông là người nghiện rượu nặng và khá trầm cảm.

Ông cũng là vị tổng thống duy nhất rút tên mình khỏi danh sách tranh cử Tổng thống tiếp theo của nhiệm kỳ vào năm 1856.